סקרים סקרים ודעת ק הל סקרי ומחקרים גדולים בתולדות אנושות -7

Size: px

Start display at page:

Download "סקרים סקרים ודעת ק הל סקרי ומחקרים גדולים בתולדות אנושות -7"

Osborn Simpson
5 years ago
Views:

1 סקרים והטייות אמידה סקרים ודעת ק הל סקרי ומחקרים גדולים בתולדות אנושות 7

2 The Literary Digest poll A huge sample survey (and a bad one) In 1936, FDR was completing his first term as president of the US. The candidates for presidency : FDR and Alfred Landon The country was after the big depression. 9 million unemployed, income dropped by 1/3 during Most observers thought FDR will win easily, but Literary Digest magazine ( a very prestigious magazine) predicted overwhelming Landon victory 57% to 43% Based on replies of 2.4 million individuals largest number of people ever to reply to a poll Roosevelt won the 1936 election by a landslide: 62% to 38% What happened?

3 The Literary Digest poll The sample First, the sample size, more than big enough, However, how did they pick their sample? We want our sample to be representative of the population. Otherwise, we have, selection bias The method of Literary Digest: Mail questionnaires to 10 million persons Names taken from telephone books and club membership list Got replies from 2.4 million people

4 The Literary Digest poll The biases Names taken from telephone books and club membership list That sampling frame (the list from which the sample is drawn) tended (especially in 1936) to screen out poor people. Critical in 1936 the poor voted overwhelmingly FDR Selection Bias Got replies from 2.4 million people (out of 10,000,000) If nonresponders differ in the voting preference Nonresponse bias How do we know it happened here? In Chicago they mailed questionnaires to every third voter (no selection bias) About 20% responded favored Landon 50%, but FDR took Chicago by a twotoone margin

5 Do we need such a large sample? Not if the sample is taken according to proper statistical principles: An example: George Gallup, using a sample of only 3,000 from the same sample frame as Literary Digest, and using a Simple Random Sample, predicted within one percentage point what the prediction of Literary Digest will be (and that it will be wrong!) From a sample of 50,000 (and not 2.3 million) he correctly forecasted FDR s victory (but was quite off by quite a bit) The election of 1936 Literary Digest s prediction Gallup s prediction of Digest s prediction Gallup s prediction of the election result The election result FDR s percentages 43% 44% 56% 62%

6 Sample surveys Summary When the selection procedure is biased, a large sample doesn t help. Just repeats the basic mistake on a larger scale If the sampling frame (the list from which the sample is drawn) tended (especially in 1936) to screen out poor people. Critical in 1936 the poor voted overwhelmingly FDR Selection Bias Got replies from 2.4 million people (out of 10,000,000) If nonresponders differ in the voting preference Nonresponse bias How do we know it happened here? In Chicago they mailed questionnaires to every third voter (no selection bias) About 20% responded favored Landon 50%, but FDR took Chicago by a twotoone margin

7 Survey Sampling Other Sampling Plans The Simple Random Sample is one of the Probability Sampling Plans in which we can calculate for each individual the chance that s/he will be selected to be in the sample Other Sampling Methods: Stratified Random Sampling Cluster Sampling Systematic Sampling (e.g. Chicago s plan in 1936) Multistage Sampling A technical method: Random Digit Sampling

8 Survey Sampling The biases Names taken from telephone books and club membership list If the sampling frame differs from the population we have Selection Bias We also have Selection Bias when there is no sampling frame and the selection procedure is biased, i.e. Haphazard or Convenience sample (i.e. in the mall), or Volunteer or Self Selected sample When we have a low response rate and nonresponders differ in their characteristics Nonresponse bias A Simple Random Sample (if large enough) ensures that the characteristics of the population (known and unknown) are well represented in the sample

9 The Salk Vaccine One of the largest experiment in the history The polio epidemic hit USA first in 1916 By 1950s several vaccines were discovered The one by Jonas Salk from the University of Pittsburgh seemed the most promising in laboratories In 1954 The Public Health Service decided to do: Large scale field trial Nearly 2,000,000 children involved, among them: Half a million vaccinated One million left deliberately unvaccinated Half a million refused to be vaccinated Field trial among the most vulnerable age group grades 1,2,3

10 The Salk Vaccine Trial Continued The 2,000,00 children involved sample from the population Method of analysis Comparison: Treatment is given only to some subjects Treatment group Others with no treatment (deliberately unvaccinated) Control group Treatment and control are of different sizes, but that is OK What is to be measured: Rates of polio (cases per 100,000) in 2 groups Rates instead of absolute numbers adjust for sample sizes Why do we need a control group? Why not give all the vaccine? History: Rates vary from year to year: In ,000, in ,000 In 1954 rates dropped sharply from 1953, but without control we don t know: Is it the vaccine? Is it no epidemic that year? The only way to know leave some deliberately unvaccinated controls

11 The Salk Vaccine Trial Continued How to select the treatments and controls: Obviously, parents permission is required for vaccination So, one possibility for treatment control: Vaccinate those who consented The others control group Is this a good design? No! It is know consent more likely in the higherincome groups Those in the lowerincome groups are less vulnerable to polio Paradox, but those in lowerincome are more likely to have had natural immunization in childhood mild form of polio So, the two groups are not comparable

12 The Salk Vaccine Trial Continued The statistical lesson to avoid bias the treatment group and the control group have to be as similar as possible except for the treatment That makes possible to conclude difference in response due to treatment and not other effects When groups differ in other factors their effect may be confounded (mixed up) with that of the treatment OK, so no consent (treatment) vs. no consent (control) So, should we select the treatment and control? To make a fair comparison the treatment and control groups have to be selected from the same population: Children whose parents consented Now how to select?

13 The Salk Vaccine Trial Continued Maybe human judgment to make them as similar as possible? Experience show Substantial bias Solution: RANDOMIZATION 50% Chance to be in Treatment 50% to be in control and get PLACEBO PLACEBO Injection with salt dissolved in water Children (parents) didn t know which group Why? To avoid Placebo Effect Another precaution: to avoid possible bias from doctors: DOUBLE BLIND EXPERIMENT

14 The Salk Vaccine Trial Continued Summary of Design of Experiment No to Give all and Compare years Confounded Effect Epidemic disease Various natural rates No to Consent=Treatment, No Consent=Control Confounded Effect Difference in groups socioeconomic and natural prevalence Yes to Definition of Population: consented Assignment to Treatment and Control by RANDOMIZATION PLACEBO Children (parents) didn t know which group DOUBLE BLIND EXPERIMENT Doctors didn t know

15 The Salk Vaccine Trial Continued Another of Design of Experiment Design of National Foundation for Infantile Paralysis (NFIP): Treatment Control but no Randomization: Treatment: Children (consent) grade 2 Control: Grade 1 and 3 Problems: Contagious: Rate could be much higher or much lower in grade 2 Consent in grade 2: bias against vaccine

16 The Salk Vaccine Trial Results Double Blind Randomized Controlled Experiment The NFIP Design Size Rate Size Rate (per100,000) Treatment 200, Grade 2 (vaccine) 225, Control 200,000 71(61% reduction) Grade 1,3 (control) 725, (54% reduction) No Consent 350, Grade 2 (no consent) 125,000 44

17 Controlled and Uncontrolled Experiment Gastric Freezing Treatment of ulcer 1958 new technique gastric freezing: balloon in stomach, coolant pumped and freezes the stomach for 1 hour. The digestive process stops and ulcer begins to heal Wangensteen tried it in 1954 on 24 patients all were cured Good enough proof? Many doctors were suspicious no controls In 1963 a double blind randomized controlled experiment was set up by Ruffin: 82 treatment and 78 control (randomly assigned) Treatment by Wangensteen s technique Control Sham freeze a shunt into balloon returned coolant before reaches stomach Two years follow up by doctors who didn t know whether patients had been given true freeze or sham.

18 Controlled and Uncontrolled Experiment Gastric Freezing Results Sixweeks Treatment 29% symptom free 47% improved 29% symptom free 39% improved Control 24 months 45% relapse and clinically worse 40% relapse and clinically worse At no time during followup there was significant difference between the groups Study shows conclusively freezing procedure no better than sham Reasonably to assume early positive reports psychological effects of the procedure Wangesteen s experiment badly designed no control. Ruffin s experiment well designed double blind randomized controlled

19 Observational study Sex Discrimination at Graduate Division at Berkeley (1973)? Overall 6 largest majors (more than 500 applicant each) Men 8,442 applied 44% admitted 2,961 applied 45% admitted Women 4,321 applied 35% admitted 1,835 applied 30% admitted Admissions to graduate work separately for each major No experiment is possible But we can control for the confounding (mixed up) factor

20 Observational study Sex Discrimination Controlling for Majors Major Men Applicants Percent Admitted Women Applicants Percent Admitted A % % B % 25 68% C % % D % % E % % F 373 6% 341 7%

21 סקרים "פנים אל פנ י ם" ס קר א' 1 סקרי עמדות במגזר הערבי בישראל.. מגמות שינוי של הזהות ואוריינטציה פוליטית (20 שנה, סמי סמוחה, אוניברסיטת חיפה) הזדהות הפוליטית בקרב הפלסטינים (ח'ליל שקאקי, 1995) תכנון הסקר הראשון: כדי לבדוק סוגיית דוקיום: סקרים במגזר יהודי וערבי " במקביל, באותם השיטות וכלים ובאותה דרגת איכות" 1,200 יהודים ו 1,200 ערבים, "טעות דגימה בכל אחד מהם 3%". "אם למשל 20 % מהערבים הסקר מדווחים שהם ממשפחות העקורים מ, 1948 ניתן לאמוד את השיעור האמיתי של העקורים באוכלוסייה בטווח של 17% ל 23%" ראיונות פנים אל פנים, בבתי הנשאלים. הבדלים בין הסקרים במגזרים: במגזר היהודי "מדגם אקולוגי" אשכולות רב שלבי: דגימת יישובים, שבונות בתוך יישוב, רחובות בתוך שכונות, דירות ברחוב, נשאל בדירה. בדירה, סוקר מכיל רשימת בני הבית ובוחר אחד שיישמר ייצוג בתוך יחידת המדגם באחריותו (למשל 10 ראיונות) חופש מסוים לסוקר בבחירה. "על אף מגבלותיה, שיטה זו נבחרה בהיותה מהירה וזולה. אין צורך לאתר אדם מסוים שנבחר מראש ולראיינו אישית". ממצא ים שו קל לו במק דמי ניפ ו ח לפי 27 ק בו צו ת גיל, ה שכלה ו מוצא ע דתי לפ י הלמ"ס

22 ע" סקרים "פנים אל פנ י ם" ס קר א' 1 סקרי עמדות במגזר הערבי בישראל.. מגמות שינוי של הזהות ואוריינטציה פוליטית (20 שנה, סמי סמוחה, אוניברסיטת חיפה) כללית תכנון הסקר הראשון: כדי לבדוק סוגיית דוקיום: סקרים במגזר יהודי וערבי " במקביל, באותם השיטות וכלים ובאותה דרגת איכות" 1,200 יהודים ו 1,200 ערבים, "טעות דגימה בכל אחד מהם 3%". "אם למשל 20% מהערבים הסקר מדווחים שהם ממשפחות הקורים מ, 1948 ניתן לאמוד את השיעור האמיתי של העקורים באוכלוסייה בטווח של 17% ל 23%" ראיונות פנים אל פנים, בבתי הנשאלים. הבדלים בין הסקרים במגזרים: במגזר היהודי "מדגם אקולוגי" אשכולות רב שלבי: דגימת יישובים, שבונות בתוך יישוב, רחובות בתוך שכונות, דירות ברחוב, נשאל בדירה. בדירה, סוקר מכיל רשימת בני הבית ובוחר אחד שיישמר ייצוג בתוך יחידת המדגם באחריותו (למשל 10 ראיונות) חופש מסוים לסוקר בבחירה. "א מגבלותיה, שיטה זו נבחרה בהיותה מהירה וזולה. אין צורך לאתר אדם מסוים שנבחר מראש ולראיינו אישית". ממצאים שוקללו במקדמי ניפוח לפי 27 קבוצות גיל, השכלה ומוצא עדתי לפי הלמ"ס

23 סקרים "פנים אל פנ י ם" ס קר א' 2 ראיונות פנים אל פנים, בבתי הנשאלים. הבדלים בין הסקרים במגזרים: במגזר הערבי דגימה שיטתית בתוך שכבות: מדגם של 43 ישובים (שכבות) לפי קריטריונים של הרכב דתי, אזור, סוג, גודל, אחוז הצבעה למפלגות ערביות לכל יישוב מכסה. הנשאלים נקבעו (שמית) מהרשימה המלאה של מ' הפנים. לכל מרואיין מחליף בדגימה שיטתית. בכ 25% מהמקרים המחליף. שיטה יותר יקרה ויותר איטית מהשיטה האקולוגית (יהודית) נשקלה (ב 1995) החלפת שיטה הוחלט להמשיך לשם תקפות ההשוואה עם סקרים קודמים. גם בשיטה זו יש הטיות בשל קושי לראיין קשישים ובעלי השכלה נמוכה הבדלים אחרים: במגזר יהודי סוקרים לא מכירים את המרואיינים. במגזר ערבי, בגלל קשיים לוגיסטיים מתוך היישוב. בדיקות לא הראו הבדלי עמדות, אך ניתן לראות בזה אפשרות להטייה (בכיוון לא ברור). הבדלים אחרים (2): "בהתייחסות (אל תוצאות שני הסקרים) מצד הציבור היהודי". סקר בקרב יהודים נחשב לא בעייתי מבחינת אמינות, לא כן במגזר הערבי. "לספקות...לא נמצא אישור בבדיקות שנערכו". הציבור הערבי פתיחות של משטר דמוקרטי ומודע לכך.

24 סקרים "פנים אל פנ י ם"סק ר ב' תכנון הסקר השני הזדהות הפוליטית בין הפלסטינים 1189 ראיונות פא"פ ב 75 יישובים שנבחרו בשתי נפות. לפני המדגם סקר מקדים באזור שכם 50 ראיונות (חליל שקאקי): דגימה רבשלבית, אלמנטים של דגימת אשכולות בתוך שכבות ודגימה שיטתית. שלבים: ראשון: סיווג היישובים לפי נפה, גודל וסוג (עיר, עיירה, כפר, מחנה פליטים) שני: מדגם שכבתי של 75 ישובים שלישי: שורטטו מפות עם גבולות הישוב, רחובות מרכזים, שכונות. אשכולות של שכונות חולקו חלוקה משנית ליחידות דגימה (כ 200 דירות כ"א) בתוך יחידות דגימה נבחרות, נדגמו משקי בית (מ"ב) בדגימה שיטתית: "אם סוקר העריך 180 מ"ב וצריך 6 ראיונות, אחרי הבית הראשון, דילג כל פעם על 29. התבקשו להתחיל בנק' ציון בשטח (דואר מסגד, וכו'). ראיון הראשון, בבית ה 30, וכו'. נדרשו לדווח על כוון ההליכה ולשרטט מפת הישובים ולדווח על מספר משקי בית בכל יחידת דגימה. בסיום התקבלו 740 שאלונים מהגדה המערבית ו 449 מרצועת עזה".

25 סקרים "פנים אל פנ י ם"סק ר ב' 2 השאלון ותדרוך המראיינים הסקר השני הזדהות הפוליטית בין הפלסטינים (חליל שקאקי): מראיינים השתתפו בסדנאות הנושאי יעדי הסקר ומתודולוגית הסקר הרצאות על: שיטת ריאיון משק בית, בניית אמון, שרטוט מפות, שיטות דגימה ארבע סמינרים בחודש ימים, 75 מראיינים, על מנת להבטיח ייצוגיות נשים במדגם, מעל 50% מראיינות לקראת איסוף הנתונים הדרכה גם בשטח, עם הדגמות של דגימה וריאיון פקוח חוקרים מוסמכים של ביקורי פתע של מפקחים בשטח לפיקוח והדרכה על מנת להבטיח ש"לא ייעשה בחופזה" הוגבל המספר ליום לכ 5 ראיונות שיעור חוסר התשובות בראיונות במשקי הבית כ 2%!! מציין:"יש לשער שמספר מרואיינים סירבו להביע עמדה פוליטית מתוך פחד או בגלל חוסר עניין במחלוקות הפוליטיות הנוכחיות" (1995) CPRSCenter for Palestine Research & Studies

A lot of the time when people think about Shabbat they focus very heavily on the things they CAN T do.

A lot of the time when people think about Shabbat they focus very heavily on the things they CAN T do. No cell phones. No driving. No shopping. No TV. It s not so easy to stop doing these things for a